SOG ra đời trong hoàn cảnh Tổng thống Kennedy kêu gọi quân đội ngoài việc chuẩn bị cho một cuộc chiến tranh tổng lực với Liên Xô còn phải sẵn sàng khi ứng phó với dạng xung đột nhỏ – chiến tranh không quy ước - như tại Việt Nam. Dù Lầu Năm Góc cho rằng quân đội có đủ sức đối phó với chiến tranh không quy ước bằng các lực lượng thông thường, Kennedy vẫn không thỏa mãn và yêu cầu quân đội lập ra một lực lượng đặc biệt thực hiện các hoạt động ngầm, khiến cho Hà Nội phát điên giống như cái cách mà họ đang tiến hành tại Nam Việt Nam với người Mỹ. Giới quân sự phản đối, nhưng dưới sức ép của Nhà Trắng, SOG được thành lập. Tuy nhiên, sự không công nhận của quân đội đối với SOG đã khiến cho rất nhiều hoạt động của SOG bị hạn chế và đem lại thành công ít ỏi.

SOG thành lập ngày 24-1-1964 tại Sài Gòn bởi Bộ chỉ huy viện trợ quân sự Hoa Kỳ tại Việt Nam (MACV). Vào thời điểm mới thành lập, mọi nguồn lực, hoạt động, tổ chức của SOG đều bắt đầu từ con số không. Mặc dù được Nhà Trắng ủng hộ, SOG hầu như không nhận được sự hỗ trợ từ các lực lượng quân sự thông thường của Hoa Kỳ tại Việt Nam cũng như CIA. Phải mất 1 năm sau, các bộ phận của SOG mới được hoàn chỉnh tương đối, kết cấu thành một mạng lưới phức tạp và cồng kềnh.